MNP-workshop 1: De keuzes bij het kaartontwerp 


In 5 stappen naar een goed leesbare kaart 
voor Milieu- en Natuurplanbureau publicaties 


Carol Bartels, Milieu- en Natuurplanbureau RIVM 
030 274 3821, carol.bartels @ rivm.nl 


Inhoud van deze workshop 


e Deel 1: Introductie (circa 10 minuten) 
— Korte introductie RIVM, MNP en mijzelf 
— Doel en aanpak van de workshopreeks 


e Deel 2: Kartografie bij het MNP (circa 60 minuten) 
— In 5 stappen naar een goed leesbare kaart voor Milieu- en 
Natuurplanbureaupublicaties 
— Voorbeeld van het kartografisch redactieteam MNP 


— Een aantal “kartografische doodzonden” 


e Deel 3: Afsluiting en vervolg (circa 5 minuten) 
— De brug naar de volgende workshop (25 nov.) 
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Bij het Rijksinstituut voor Volksgezondheid en Milieu: 
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Het onderzoek en de adviestaak van het 
RIVM hebben betrekking op: 






e De ontwikkeling van de volksgezondheid en de 
gezondheidszorg 

e De effecten van voeding en andere consumenten- 
producten op de gezondheid 

e Milieu- en natuurvraagstukken 

e Voorbereidingen, maatregelen en nazorg die nodig 

zijn bij calamiteiten en rampen 










Opdrachtgevers zijn met name de ministeries van 
VWS, VROM en LNV; inspecties en internationale 
organisaties zoals de EU en de VN 
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Het Milieu- en Natuurplanbureau (MNP): 


e is momenteel nog ondergebracht bij het RIVM; 
e heeft 2 vestigingen: Bilthoven en Wageningen; 
e de toekomst van het MNP nog niet helemaal duidelijk: 


MNP de 39 “p”. Profit (CPB) 


Economie 


4 
People (SCP) 
Sociaal-cultureel 
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e Wat doe ik op het RIVM 
— Projectleider: “Ondersteuning indicatoren MNP” 
e Coördineren redactie- en eindproductieteam 
e Herbouw van de Indicatorendatabase 


— Kartografie-ondersteuning (advisering, eindredactie, cursussen) 


e Daarvoor: 
— Sociale Geografie Uv 
— Specialisatie Kartografie, hoofdbijvak GIS 
— In 1994 stage-opdracht: Kartografisch Handboek RIVM 
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Workshopreeks MNP 


Vandaag: Er zit veel meer achter een kaart… 


Donderdag 25 nov: Het grafiekenmemoryspel 


Donderdag 2 dec: Angst voor onzekerheid 
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Deel 2: Kartografie bij het MNP 
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B eni 


In 5 stappen naar een goed leesbare MNP-kaart.... 


‚ Bepaal het kaartdoel, de doelgroep en het medium 
. Analyseer de informatie die beschikbaar is 
Pas de kartografische regels mbt vormgeving toe 
. Let bij de kaartopmaak op de drie bekende valkuilen 


. Voeg alle benodigde randinformatie toe 


De stappen 1, 2 en 3 worden ondersteund door een keuzemodel 
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Stap 1: Bepaal het kaartdoel, de doelgroep en het medium 


e Kartografie is een vorm van communicatie 


e Begin altijd met het beantwoorden van de volgende vragen: 
e Wat wil ik met de kaart overbrengen? 
Voor wie is de kaart bestemd’? 
Waarvoor (en hoe) wordt de kaart gebruikt’? 
Welk medium ga ik gebruiken? 
Welk beeldniveau wil ik met de kaart bereiken? 


Milieu- en Natarplanbureau | Carol Bartels 11 november 2004 





Voor wie”? Bepaal je doelgroep 


ZN 


Natuurbalans Natuurcompendium 


Primaire doelgroep: Doelgroepen zijn divers: 
— Kabinet en leden van de — Beleidsambtenaren bij de 
Tweede Kamer departementen 


— Topambtenaren bij de — Wetenschappers en 
departementen vakspecialisten 


— Milieu/natuurorganisaties 
Daarnaast ook: 
— Het “brede publiek” 
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Specificeer kenmerken van de doelgroep 
Natuurbalans Natuurcompendium 
(2e kamer en topambtenaren) (vakspecialisten, MN-organisaties) 


Kaart is ondersteunend aan de Achtergrond van de Balans: 

tekst detailinformatie geven 

Kaart biedt overzicht Hebben veel kennis van het onderwerp 
Weinig tijd: snel een conclusie Steken meer tijd in de kaart 


Niet heel gespecialiseerd Willen meer met de kaart: bv data 
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ap Oe: > 


Waarvoor wordt de kaart gebruikt? 
Hoe helpt de kaart bij besluitvorming? 


Stel je krijgt de volgende opdracht: 
e Breng de Franssprekenden in Noordoost-Canada in kaart. 
e De kaart is bestemd voor een beleidsmaker bij het Canadese 


Ministerie van Onderwijs. 
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Deze kaart voor de beleidsmaker’? 


Franssprekenden in Noordoost-Canada, 
als % van de bevolking 


Percentage of Population with 
French as the Mother Tongue 


Under 10 


Milieu- en Natuurplanbureau | Carol Bartels 11 november 2004 





Of deze.…..……....? 


Franssprekenden in Noordoost-Canada, 
absolute aantallen 


Distribution of French Population 
1,000 Persans 
® 10,000 Persons 


® 50.000 Persons 


& 100,000 Persons 


®--— 
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Welke boodschap? Wat wil de beleidsmaker”? 
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Waarvoor wordt de kaart gebruikt’? 


Om overzicht te krijgen? 
Als ondersteuning bij de tekst? 
Om besluiten op te nemen? 


Om er gegevens aan te ontlenen? 


Zorg dat je dit weet! 
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Ken de beperkingen van het medium (1) 


Bij het MNP: 


e Jarenlang alleen gedrukte boeken: 


Beperkt tot statische kaarten 
Doel van de kaarten: overzicht krijgen en tekstondersteuning 


Kleurenpalet in CMYK, afgestemd op drukkwaliteit, soort papier, 
kenmerken van de drukpers. 


Kaarten nooit groter dan B5-formaat. Heeft bijv. invloed op het 
generalisatieniveau van je lijnenbeelden. 
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Generaliseer de kaart op basis van het presentatieformaat 
een voorbeeld: 


Nitraat bovenste grondwater van landbouwgronden 
1986-2000 


mg naaar 
Boes 
Esso 
BEB 50-75 
mn 7 


— PAWNarstneen 
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Ken de beperkingen van het medium (2) 


Internet als medium: 
— Dynamische kaarten mogelijk, “clickabel maps”, animaties, etc. 
— Formaat is geen enkele beperking 


— Doel van kaarten verlegt zich naar data-ontsluiting en besluiten 
nemen o.b.v. van kaarten (bv. Met een Kartografisch Expert Systeem) 


Let op: doelgroep is mede bepalend voor keuze medium! 


— _Natuurbalans: doelgroep wil “iets in handen”, kort en bondig. Doel 
van kaarten is overzicht en ondersteuning tekst. 


— Natuurcompendium: doelgroep wil data achter figuren, en 


besluiten nemen op basis van kaarten die daar geschikt voor zijn 


1. Doel(groep) 
2. Data-analyse 
3. Vormgeving 
4. Kaartopmaak 
5. Randinformatie 


Milieu- en Natuurplanbureau | Carol Bartels 11 november 2004 





10 


Op basis van kaartdoel, doelgroep en medium 
bepaal je het beeldniveau van de kaart 


In de kartografie drie beeldniveau'’s: 
e Laag 

e Midden 

e Hoog 
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aag DeelEnIvsan: 


En an 


mar | Waarnemingseigenschap is: 


Wijziging GAT TE 
grondwaterstand pn 
1956-1976 


Onderscheid tussen verschijnselen 


ke! VEA ie Genet greetberrge nare on dE eerd RR ETE Sen vane mk 
ZOT IDB ie Pe AEEA ID ON MER rn UEINES 
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Midden beeldniveau: 


Waarnemings- 
eigenschap is: 


Selectie van 1 klasse 
mogelijk 
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Hoog beeldniveau: 


Waarnemingseigenschap is totaalindruk 
Dit wordt ook wel beeldvorming genoemd 
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Einde stap 1: De opbouw van het keuzemodel: 


1) Beeldniveau en bijbehorende waarnemingseigenschappen 


beeldniveau 


anderscheid 


relatie 
5 kenmerkend 
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Stap 2: Analyseer de informatie die beschikbaar is 


Nominaal Kwalitatief, onderscheid mogelijk (bv. bos-veen-heide) 


Ordinaal Geordend, rangorde in gegevens (bv. gehucht, dorp, stad) 


Interval Kwantitatief, afstand bepalen (temperatuur) 


Ratio Kwantitatief, verhoudingen bepalen (bv. bevolkingsaantallen) 
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Einde stap 2: De opbouw van het keuzemodel: 
1) Beeldniveau en bijbehorende waarnemingseigenschappen 
2) Meetniveau en bijbehorende waarnemingseigenschappen 


meetniveau 
beeldniveau 


wtaal indruk 
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Stap 3: Pas de kartografische regels mbt vormgeving toe 


Uit welke grafische (of visuele) variabelen kan ik kiezen 
Hoe kies ik samen met beeldniveau, meetniveau en 


waarnemingseigenschap de juiste grafische variabele 
(voorbeeld uitwerken mbv het keuzemodel) 


Tot welk kaarttype zullen bovenstaande keuzes leiden 
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De grafische (of visuele) variabelen: 


Grafische Punt Lijn Vlak 
variabelen: 


1. Doel(groep) 
2. Data-analyse 
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De grafische (of visuele) variabelen: 


Grafische Punt Lijn Vlak 
variabelen: / 


Maximum aantal klassen wil selectie nog 
mogelijk zijn: 


puntsymboo 
groctte 
grijswaarde 
grein 
kieur 
richting 


vormt 
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De laatste component in het keuzemodel: 
1) Beeldniveau en bijbehorende waarnemingseigenschappen 


2) Meetniveau en bijbehorende waarnemingseigenschappen 
3) De visuele variabelen 


meetniveau 
beeldniveau 


WAPEN 
_ egenschagpen 
relatie 
kenmerkend 


 fonderscheid 


Nas: Grei, Warssannkscte Tidatdet. 20 
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Een voorbeeld van het kiezen van de juiste grafische variabele met 
het keuzemodel: __ 


weevsoverseegr: 


wevers 
wers 
& 


Wijziging EE We doen stap 1: 
1956-1976 A A REE RE. " ü 
| DA telensee, «4 e Doelgroep: 2e kamer (“Zorgen voor morgen”) 
we RE ee B? % B 
KE EE f 


pete": { e Doel kaart: overzicht en tekst ondersteunen 


py 
's 


e Dus: hoog beeldniveau 


| We doen stap 2: 


« Twee soorten gegevens: 


1) stijging of daling: nominaal 


2) aantal cm verandering: ratio 


Widgng van Za goriderde gesae ws des menos LETS vh ven zoen ct 
VREES grof Begrens ie de peis VRG et on. ann SO Heren VNL 


ane MEt 
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Het model doorlopen voor het meetniveau ratio 
(aantal cm stijging of daling) 


meetniveau 


beeldniveau 


visuele 
variabelen 


nderscheid 


tard 
onderscheid 


Niagr } Gons, Waor Videchr 200 
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Het model doorlopen voor het meetniveau nominaal 
(is het stijging of daling) 


meetniveau 


beeldniveau 


Nair Ge, Hagens Tijdschr. 207 
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Met behulp van model…. waan 
Îo5s-1976 


Bij de keuze van rood - groen is 
geen rekening gehouden met 
kleurblinden!! 
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Zo kan het..……............……...maar zo kan het ook.…. 


Wijziging — 


‘grondwaterstand 
1956-1976 


mre varaan waavanensree € en 


Wieg ven ce ponivgerde gordwanenns ei goeie 7 CEN en orcieeng zeen she 
geracmne gemestantee site in de peren 1336 oe on zz: vO5 Meur OUR 
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Afsluiten stap 3: Bij welk kaarttype kom ik uit? 


Meetniveau Grafische 
variabelen 
ratio grootte 


interval grijswaarde 


grein 
ordinaal 
kleur 


nominaal richting 


vorm 
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Voorbeelden van kaarttypen bij MNP: 
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De (grid)choropleeth 


Meetniveau: 
Punt/lijn/vlak: 


Visuele variabele: 


Beeldniveau: 


relatief kwantitatief 
vlak (grid) 
grijswaarde 

hoog 
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De stippenkaart 


Elke stip heeft dezelfde waarde 
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Ben 


ne hi en ae en 








De chorochromaat 


Kwalitatieve verschillen door 
vlakken met verschillende kleuren 
(richting of vorm kan ook) 
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De diagramkaart 


Diagrammen in een kaart 
geplaatst. 


Verre van ideaal!! 


Laag beeldniveau, al snel te 
ingewikkeld! 


AS pe iS 


% N nd 
Bens Ps 0 hen E 
Pad 
wd 


Milieu- en Natuurplanbureau | Carol Bartels 11 november 2004 





De bewegingskaart 


mo naar OESO Europ a 2 __Absoluut kwantitatieve 
| on gn E ME verschillen door lijnen 
van verschillende dikte. 
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negebruik door Ne fie }__ Absoluut kwantitatieve 
verschillen door 
proportionele 

| | & | symbolen (“grootte”). 
De 7 | e In deze kaart 
gecombineerd met 
kwalitatieve verschillen 








4 
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De isolijnenkaart 


….… gecombineerd met choropleeth 
leidt tot hoog beeldniveau: 
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5 
Ë 
sn 
E 
En 
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Stap 4: Kaartopmaak 


Drie bekende valkuilen bij MNP-choroplethen: 


e … bij het aggregeren van gegevens 


e … bij het kiezen van een klassenindeling 


e … bij het gebruik van kleur in de kaart 
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(1) Aggregeren: welke gebiedsindeling of resolutie? 
Rekenniveau: 500x500 meter grid: 
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Presentatieniveau: COROP-gebieden 
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| 





Ep ep 





| (2) Kiezen van een klassenindeling: 1001-mogelijkheden… 
| Mogelijkheid 1: gelijke klassengrenzen 





Pe TPP 


an nd < 


\ 
j 





| en 
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he dike hc nne 





nt edad. a a ia, A Sd An a A OE ee 











Mogelijkheid 3: heel andere eigen indeling 
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3x exact dezelfde gegevens: 
3x andere klassenindeling, 3x andere boodschap! 
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Tips bij het kiezen van een klassenindeling 


Kies niet lukraak een klassenindeling 

Maak gebruik van technieken om een optimale 
klassenindeling te kiezen 

Bekijk een aantal indelingen 


Houd boodschap en doelgroep goed voor ogen 
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(3) Kleurgebruik in de kaart: visuele variabele “kleur” 
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ê“ 





Volgens het keuzemodel: visuele variabele: “grijs” 
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Norm in de kaart: combineer “kleur” met “grijs” 
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3x exact dezelfde gegevens: 3x andere boodschap door 
gebruik van (combinatie van) visuele variabelen 


Milieu- en Natuurplanbureau | Carol Bartels 11 november 2004 


Tips bij het kiezen van kleuren 


Kies de juiste grafische variabele 

Wees voorzichtig met signaalkleuren 

Bij relatief kwantitatieve data: is er geen “goed/slecht” 
boodschap? Gebruik dan een kleurreeks van licht 
naar donker 

Groen-rood reeks gebruiken voor (norm)- 


overschrijdingen 
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Stap 5: De randinformatie niet vergeten! 


Randinformatie: gegevens buiten de eigenlijke kaart 


Minimaal: titel, legenda, schaal- en bronvermelding 
Minimaal in boek: titel en legenda 


Als juiste randinformatie ontbreekt kan dit de 
doelmatigheid en bruikbaarheid van een kaart 
emstig schaden! 
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Titel 
e Kort en bondig! 


e Watis het, waaris het en wanneer is het 


Legenda 


e Verklaar ALLE symbolen die in de kaart voorkomen. 
e Zet geen symbolen in de legenda die NIET in de kaart staan. 
e Letop vorm en grootte van symbolen in legenda 


e Denk na over de opbouw van de legendavolgorde 
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Schaal 


Gebruik een eenvoudige schaalstok 
Nooit alleen een getal opnemen (bv 1: 10.000): bij 


vergroting of verkleining van de kaart klopt de 
schaalaanduiding niet meer 


Bron 
e Kaart in rapport gaat vaak een zelfstandig leven leiden 


e Onopvallend, klein, in een hoekje 
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Redactie- en eindproductieteam 
voor figuren in NMP-publicaties 


Bij het kaartontwerp zijn 3 mensen nodig: 


Onderzoeker 
Expertise over de inhoud 


Kartograaf Beleidsmedewerker 
Kent de karto- Weet hoe de kaart 
grafische regels gebruikt wordt 
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Voorbeeld redactie- en eindproductieteam NMP 


Zo kan hetiinsterde 


weenenvevvernvenrn wapveveensvenvenveeverervnrsvvervecveversvers denten seeen 


Groeiseizoensverandering per decennium (1995-2050) 
in aantal dagen 


mevonvvervanrotortisdersvrerenvcenssorvarerserverrsenenevserrvvnanesneen 


f 
EH 
EH 
$ 
Ë 
$ 
$ 
$ 
H 
HH 
$ 


Voorbeeld redactie- en eindproductieteam NMP 


Zo kan het.….…...…......…......….maar zo kan het ook 


Groeiseizoensverandering per decennium (1995-2050) 
in aantal dagen 
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Een aantal “kartografische doodzonden” 


Kaarten waar niets gebeurt 

. Absolute waarden met “grijs” (choropleet) weergeven 
Relatieve waarden met “grootte” weergeven 

. Stoplichtkleuren waar “grijs” (choropleet) gewenst is 

‚ Teveel informatie in 1 kaart 
Gebruik van ingewikkelde diagrammen op kaarten 


Essentiele randinformatie vergeten 


En altijd eerlijk aangeven wat je doet; niet manipuleren! 


akten 
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Is de informatie een “kaart waard?” 
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ef 


in nt ET enn nnn a. nd 


€ 


Absolute waarden met “grijs” (choropleet) weergeven …. 
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Relatieve waarden met “grootte” weergeven: 
_ Kaart uit 2° Milieuverkenning 
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Verbeterde kaart: relatieve kwantitatieve gegevens met “grijs” 


peas 4 bren peppen ig 
de: delen wordt schade oan ; 
ended erniet oenden ge 
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stoplichtkleuren waar... “grijs” (choropleet) gewenst is 
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Tot slot.…… 


Denk goed na over het doel van de kaart (waarom een kaart?) 
Houd rekening met de doelgroep! 


Wat wil de doelgroep met de informatie’? 


Gebruik de kartografische theorie en de vele technieken die 
voorhanden zijn. 


Wees eerlijk over de keuzes die je maakt. 


Ben je bewust van de invloed van de accenten die jij legt 
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Deel 3: Afsluiting en vervolg 
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ge ap 
en …… 
Je 
d 


< 


25 november, 2° workshop MNP: 


Kartografisch advies: 


Je mag een kaart naar mij opsturen: 
— Goed leesbare bitmap: carol.bartels @ rivm.nl 
— Of een papieren kaart: 
C.Bartels, RIVM-MNP, postbus 1, 3720 BA Bilthoven 


— Beantwoord daarbij de vragen: 
e Wat is het doel van de kaart? 
e Voor wie? 
e Hoe wordt de kaart gebruikt? 
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25 november, 2° workshop MNP: 


Praktisch deel workshop 2: 
— Zelf een grafiek maken (eventueel eigen data meenemen) 
— In groepjes het grafiekenmemory spelen 


— Terugkoppeling kartografisch advies en grafiekopdracht 
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Wednesday 09-Jul-03 10.07 
nr: 0425n03k 


Datum 
Kaart 








Ea 
\ 














Monday 07-Jul-03 15.43 


Datum 
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Gemeentelijke landschapsplannen 
Stand van zaken per 1-3-2003 


Bestaande landschapsbeleidsplannen 


ME > 10 jaar oud 

ES 2-10 jaar oud 

Beal < 2 jaar oud 

_ Landschapsbeleidsplannen in ontwikkeling 


4 In ontwikkeling 
ed Aanvraag LOP 2002 





ee Geen gemeentelijke landschapsplannen | 


Effect klimaatverandering op planten in 2050 








Percentage nieuwe soorten waarv 
klimaat geschikt wordt 
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Tips bij het maken van grafieken 


Algemeen: 
e Bepaal de doelgroep 
_e Denk goed na over de boodschap 


Aandachtspunten: 


Gebruik geen tweede y-as. Mogelijke oplossingen zijn splitsen van 
grafieken of indexeren (vb 1). 


Wees zorgvuldig met indexeren. Het indexeren op een ander jaar, 
kan een heel ander verloop van je grafiek betekenen, dus een 
andere boodschap (vb 2). 


Gebruik geen formules (bv. delen door 10) om lijnen in een grafiek 
hoger of lager te plaatsen. Niet alleen de hoogte van de lijn wordt 
gewijzigd, maar ook de snelheid van de toe- of afname (vb 6). 


Bij het gebruik van gekleurde oppervlakten moet ieder oppervlak 
geheel zichtbaar zijn (vb 7). 


Gebruik alleen een radarplot als de waarden in een logische 
volgorde staan, zoals bijvoorbeeld de maanden van een jaar (vb 8). 


Rek de y-as niet uit om verschillen extra uit te lichten. Begin een y- 
as in principe op nul (vb 9). 


De volgorde van staven in een grafiek beïnvloedt de boodschap (vb 
10). 


Gebruik geen logaritmische assen om de gegevens in een grafiek 
bij elkaar te houden of juist te verspreiden. De grafiek krijgt een 
heel ander beeld (vb 11). 


Een brede grafiek lijkt minder verandering te tonen dan een smalle 


grafiek (vb 12). 


Wees voorzichtig met het gebruik van LINE in Excel om een 
grafiek te maken met getallen op de x-as. De waarden worden dan 
niet lineair, maar met vaste tussenstappen weergegeven. Kies liever 
voor SCATTER (vb 13). | 


Opdrachten ‘Grafieken’ 


Schets grafieken die de volgende boodschap weergeven: 


Ll. De afname van de emissie van NO, bij verkeer 1s vrijwel volledig toe te schrijven 
aan personenauto's. 


2. Het energiegebruik van personenauto's is in de periode 1985-1996 toegenomen. 


Ondanks een duidelijke afname van de emissie van NOx in deze periode, zal de 
doelstelling voor 2000 met de huidige ontwikkeling niet gehaald worden. 


1985 1990 1996 Doel 2000 


Energie PJ 

Personenauto’s 196 214 239 

Vrachtverkeer | 02 115 137 

Wegverkeer 290 333 381 

TOTAAL VERKEER 355 403 4577 

NOx E miljoen kg 

Personenauto's 156 149 104 40 
Vrachtverkeer 107 118 107 12 
Wegverkeer 264 268 212 in 


TOTAAL VERKEER 343 353 301 158 


Deze tabel bevat dezelfde data als de vorige tabel, maar nu geïndexeerd naar 1985=100. 


1985 1990 1996 Doel 2000 


Energie index 

Personenauto’s 100 109 122 
Vrachtverkeer 100 125 149 

Wegverkeer 100 115 131 

TOTAAL VERKEER 100 114 129 

NO, index 

Personenauto’s 100 06 67 25 
Vrachtverkeer 100 110 100 67 
Wegverkeer 100 102 80 


TOTAAL VERKEER 100 103 88 46 


Mogelijke oplossingen bij opdracht grafieken 1 
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Angst voor Onzekerheid 


Lezing in kader van Studium-Generale-symposium 
“De verborgen boodschap” 


door Hans Visser 
Milieu- en NatuurPlanbureau van het RIVM 


Datum: 2 december, 2004 
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Inhoud 


l Onzekerheden & getallen 

2 Onzekerheden & insctredhie 

3 Onzekerheden & ruimtelijke informatie (kaarten) 
4 Onzekerheden & enquêtes 

5 Onzekerheden & modellen 


6 Case: uitstervende plant- en diersoorten 


Pauze 
7 Resumé 
8 Grafieken uit Europese Milieubalans beoordelen 


9 Case: kans op een Elfstedentocht 


Samenvatting & discussie 
over de drie lezingen 
“De verborgen boodschap” 


# 


leden nd en, rd 


1 Onzekerheden en getallen 


Output van een model of meetapparaat of enquête is: 
a) een getal (of reeks van getallen). 
b) een getal dat met een kans tussen een boven- en ondergrens ligt. 


c) anders, namelijk … … 


Is het mogelijk dat: 


9 > 10 
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10 
Meetwaarden van x en y 


“Door het nationale en internationale verzuringsbeleid is in de 
periode 1981-2002 de potentieel verzurende depositie (met 
50%) en stikstofdepositie (met 25%) op Nederland substantieel 
gedaald.” 


“Richtlijn bevordering gebruik biobrandstoffen in het verkeer 
(indicatief aandeel 2% in 2005 en 5,75% in 2010)” 


«D_ Dat wil zeggen met een geschatte kans van de 65-90%.” 


e Nederland zal met het huidige beleid zijn Kyoto- 
doelstelling voor broeikasgasemissies van -6% 
waarschijnlijk’ wel halen. Hiervoor is wel is de 
implementatie van voldoende JI- en CDM-projecten en 
van de N‚O-reductiemaatregel in de chemie 
noodzakelijk, hetgeen niet vanzelfsprekend is. 


even verder lezen we: 


e De huidige methode voor vaststelling van de nationale 
broeikasgasemissies is onbetrouwbaar gebleken en dient verbeterd te 
worden om het risico van overschrijding van het emissiedoel te 
beperken. 


1 Dat wil zeggen met een geschatte kans van ca. 65-90%. 


en 


Onzekerheid in een getal is 


a) altijd belängrijk. 
b) soms wel, soms niet belangrijk. 
c) spijkers op laag water zoeken. 


d) onnodig, want de opdrachtgever snapt die onzekerheid toch niet. 


sati 


Photography Acclaim Images.com Photography 








2 Onzekerheden & meetreeksen 


Wat vinden jullie van onderstaande figuur? 





Trend in het risico voor vergifteging van viestende 


vogels, dieren en andere vissen 

ernstig | 

risico 
—— Maas 

matig oben | 

risico Rijn-Maasmonding 

Usselmeergebied 
—_— Randmeren 
_ licht risico 





1992 1994 19965 1998 2000 


Figuur 2 26: Trend in het optreden van sterfte en storingen van de voortplanting bij visetende soorten 
als gevolg van giftige stoffen. Bij een matig risico heeft 5% van de visetende soorten kans op een 


Wat vinden jullie van de volgende analyse? 





rivm eh 


: Effecten > Natuur > Pimpelmees 


Pimpelmees: klimaatverandering en broedgedrag 


Pimpelmezen broeden eerder, omdat de lentes in Nederland warmer worden. 


Relatie voorjaarstemperatuur en eilegdatum pimpelmees 
Voorjaarstemperatuur Eilegdatum 
Dagvanhetjaar _— 120--Dag van het jaar 


4 6 8 10 1986 1990 1994 1998 2002 

Voorjaarstermperatuur (°C) 

Bron: NEM (SOVON, CBS). CESNC'se pj 1830 
Cijfers bij deze figuur 


Ontwikkeling eilegdatum 

Als het voorjaar warmer is, valt de periode waarin er veel insecten zijn vroeger in het jaar. 
Insectenetende vogels, waaronder de pimpelmees moeten er voor zorgen dat hun jongen 
zoveel mogelijk opgroeien als de beschikbaarheid van voedsel het grootst is. In een warmer 
voorjaar gaan ze daarom eerder eieren leggen (zie de linker grafiek). De laatste decennia is 
het voorjaar warmer geworden. Vergeleken met 1986 broedt de soort gemiddeld genomen 
circa 10 dagen eerder (zie de rechter grafiek). 





Het kan ook anders: 


Eilegdatum pimpelmees in Nederland 






120 





mmm gemeten eilegdatum 
mmm trendschatting 
== an ar 
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Figuur 3 Trendschatting mw, met TrendSpotter (groene lijn). De rode 
stippellijnen geven betrouwbaarheidsintervallen voor de trend. Ze 
kunnen gebruikt worden om te testen of de trendwaarde significant 
groter of kleiner is dan een vast gekozen grenswaarde. 
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Figuur 4 Trendverschil u2002 - tw . Met dit verschil kan bepaald worden of de 


laatst bekende trendwaarde, hier 200 significant groter of kleiner is 
dan een willekeurige trendwaarde u in het verleden. Er geldt hier dat 
Woo alleen significant lager is dan wiogo en Wio37 (nullijn ligt buiten 
bovenste stippellijn). 


Het groeiseizoen heeft de laatste 15 jaar gemiddeld ruim 3 weken langer geduurd dan in de 


periode 1961-1990. 
lijst van 


Lengte groeiseizoen 
Dagen 
| Aantal dagen 
per jaar boven 5° C 
— Voortschrijdend 
gemiddelde (15 saar) 


280 | 


260 | 
240 


ER 
1900 1920 


Bron: KNM! 2003. RIVM/MC sep 0NA 


Cijfers bij deze figuur 


Groeiseizoen ruim 3 weken langer 

Gemiddeld over de laatste 15 jaar duurt het groeiseizoen nu ruim 3 weken langer dan in de 
periode 1961-1990. In de periode 1961-1990 was de lengte van het groeiseizoen gemiddeld 
269 dagen. De laatste 15 jaar duurde het groeiseizoen gemiddeld 293 dagen, 24 dagen langer 
dan voorheen (KNMI, 2003). 


De lengte van het groeiseizoen is bepaald als het aantal dagen per jaar met een gemiddelde 
temperatuur in de Bilt boven de 5°C. Sinds het midden van de jaren 80 is dit aantal dus fors 
toegenomen. 


Toename lengte groeiseizoen volgt de gemiddelde temperatuur 
De verandering van de lengte van het groeiseizoen loopt in de pas met die van de gemiddelde 


temperatuur in Nederland. Deze is de laatste 20 jaar circa 1 °C hoger dan aan het begin van 





Figuur is niet goed want: 


e indicator groeiseizoen klopt niet. 

e geen definitie van groeiseizoen gegeven. Voor welke plant(en)? 

e wat moeten we ons voorstellen bij een groeiseizoen van 320 dagen? 
e voortschrijdend gemiddelde is niet correct. 

e referentie klopt niet. 


e geen onzekerheden. 
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3 Onzekerheden en kaarten 


e Fouten in kaarten worden zelden vermeld. Alle 
opmerking voor ‘getallen’ en ‘meetreeksen’ 
blijven echter hier ook gelden. 


e De vermelding van ‘een relatieve fout van 15% 
per gridpunt’ is niet meer voldoende. 


e De resolutie van een kaart of meerdere kaarten 
gaat een zeer belangrijke rol spelen. 


e Onzekerheden in kaarten moet je weergeven met 
‘even-waarschijnlijke kaarten’. 





Een voorbeeld 


Figuur A geeft de jaargemiddelde concentratie van NO» over Nederland. 
Concentraties komen uit het OPS-model, op een grid van 5 bij 5 km. Hier overheen 
zijn wegconcentraties gelegd uit het Car-model, op een grid van 25 bij 25 meter. De 
kaart ziet er prachtig uit en lijkt 100% zeker. Echter, gridinformatie is bijna niet te 
zien en modelonzekerheden worden in publicaties niet vermeld (fouten uit het OPS- 
en Car-model cumuleren!). Figuur B geeft een zestal woonmilieu-typen, zoals bepaald 
door CBS, op het niveau van viercijferige postcode gebieden. De typen zijn: centrum 
stedelijk (149 gebieden), buiten-centrum (727 gebieden), groen-stedelijk (341 
gebieden), centrum-dorps (851 gebieden), landelijk wonen (1874 gebieden), en 
werkgebied (79 gebieden). De gebieden zijn nogal variabel qua grootte: ze variëren 
van 2 bij 2 km in steden tot 5 bij 10 km op het platteland. Onzekerheden zijn 
onbekend, maar zijn er natuurlijk wel: een bepaald postcodegebied kan gedeeltelijk 
‘centrum-dorps’ zijn, en gedeeltelijk “landelijk wonen’, etc. Bovendien is de 
toekenning van een woonmilieu-type subjectief: de ene opnemer maakt een andere 
keuzes dan een andere opnemer. 


We zouden voor een publicatie/rapport over woonkwaliteit graag willen weten wat de 
jaargemiddelde concentratie per woontype is. Figuur C geeft het histogram voor heel 
Nederland. Om het histogram te maken, is alle informatie vertaald naar het fijnste 
grid: 25 bij 25 meter. Misschien geeft C een aardige indruk. Maar als we alle 
onzekerheden meenemen (data- en modelonzekerheid + fout door verschillen in 
resoluties), kan het beeld in C net zo goed onzin zijn. Anders gezegd, het is zeer de 
vraag of de verschillen in hoogte van de staafjes statistisch significant zijn. 
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Comment: Wat bedoel je 


hiermee ‘gridinformatie is niet te 
zien’ )?? 





Comment: Hoe zou je de 
onzekerheid van de informatie die 
in C geleverd wordt willen _ 





vastleggen? 


Woonmilieutypologie PC4 


- (wmfys02 dbf)- 


pc4 woonm madpncne 







OEE centrum stedelijk 149 
Ei buiten-centrum _ 727 
HE groen-stedeljk 341 
REE centrum-dorps 851 
CE landelijk wonen _ 1874 
WREE vverkoebied 79 





NO2-concentratie 
(tgv wegverkeer over achtergrond) 
Value : 


High : 78.000000 


Low : 10,000000 
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4 Enquêtes 


Stel, we willen weten van wat soort natuur ‘de Nederlander’ houdt. 
Hoeveel mensen moeten we dan ondervragen? 


a) 309 
b) 2400 
c) 20.000 


d) anders, namelijk: 


Als je deze enquête uitzet bij mensen die een computer hebben en 
met de beantwoording Airmiles kunnen verdienen, vertrouw je dan 
de uitkomst? 

a) ja 


b) ja, mits de enquête verder gedegen is opgezet. 


c) nee 
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Wat vind je van de enquête-resultaten hieronder”? 


Recreatief gebruik van grote natuur- en bosterreinen 


Wandelen en fietsen zijn de meest ondernomen activiteiten in bos- en natuurgebieden. Vooral 
het fietsen is in de loop der jaren toegenomen. 


Natuur-en bosterreinen 
Motieven bezoek Activiteiten 


Genieten van natu EN Wandelen 


É 


NN | 
actiwteiten | Fietsen 
Rust'stilte En Re 
Ontspanning a Tmmanl 
Nabijheid ms Joggen 
Aanwezigheid El Hond uitlaten 


voorzieningen Zitten/zonnen/ 
Hond uitlaten Eid 


Saciale contacten Ei 


0 40 2030 af 
% ondervraagden 


Belang voorzieningen 


Wandelpad | 


Gemarkeerde 
route 


Fietspad 
Parkeerplaats 


Ruwterpad ï 


Trimbaan 


Banken 
Speel-/ 
ligweide 
Infopaneel 


EJ Jaren 70 
B Jaren 80 
ER Jaren 90 
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5 Onzekerheid & milieu-modellen 


Wat 1s calibreren en valideren? 


(Milieu)modellen zijn altijd wel gecalibreerd en 
gevalideerd. | 


a) mee eens 


b) mee oneens 
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Als je in een groot model of modelketen steeds de 
beste waarden neemt, dan is de output ook de beste 
schatting voor het proces en kan aldus 
gepresenteerd worden. 


a) mee eens. 
b) niet mee eens. 


c) weet niet. 


Voorbeeld van een ‘groot’ model met 
twee inputvariabelen xj; en x2j. 
De output is y;. 


Xi 


Xi 





Stel, de relatieve fout in xj; en x2,; is 10%. 


Verder, stel dat ons model bij nader inzien best eenvoudig is: 


Yi = X1i = X2j 


Voor een zekere i heeft xj; de waarde 100 en x7; de waarde 99. 


Wat is y; dan? En de relatieve fout in y; 2 


17 


6 Case: uitsterven soorten in 2050 


Lees onderstaande krantenbericht over een Nature artikel: 





| de Volkskrant 


Broeikaseffect Alarmerende soorten 


Zaterdag 31 januari 2004 








studie onderschat veerkracht van de nat! 


Een beetje soort re: 


Narmerende berichten dat 
het broeikaseffect zou 
leiden tot grootscheeps 
verdwijnen van planten- 
en diersoorten, rusten op 
drijfzand. De onzekerheden 
lijken groter dan de 
effecten. 

Door Jeroen Trommelen 


egin dit jaar voorspelden on- 

derzoekers in het tijdschrift 

Nature dat klimaatverande- 

ring de komende vijftig jaar zal 

teiden tot het uitsterven van 15 
tot 37 procent van de plant- en dier- 
soorten op aarde. Dat nieuws haalde 
veel voorpagina's en televisiejournaals, 
maar de kritiek op de onheilspellende 
voorspelling groeit. 

De statistische onderbouwing van de 
studie 26u volgens de critici niet deugen 
en de veerkracht van de natuur zou 
worden onderschat. Dat leidt tot een te 
zwart scenario, waarin het aantal te 
verdwijnen soorten schromelijk wordt 
overdreven. 

Het broeikaseffect, aldus de Nature- 
studie onder leiding van Chris Thomas 
van het Centre for Biodiversity and 
Conservation in Leeds, pakt niet alleen 
dramatisch uit in het soortenrijke re- 
genwoud in de Amazone maar óók in 
het gematigde Europa. De verdwijning 
van 15 tot 18 procent van de planten en 
dieren staat volgens de studie vast. De 
aarde is immers al bezig met opwar- 
men, en dat effect ijlt nog zeker een 
halve eeuw na. 

Op wereldschaal zou klimaatveran- 
dering zelfs méér soorten wegvagen 
_dan door boskap of andere vormen van 

habitatverlies gebeurt, aldus de reken- 
modellen van Thomas. Die voorspel- 
ling is strijdig met vrijwel alle eerdere 
onderzoeken over soortenverlies, er- 
kennen de onderzoekers. Maar reden 
voor twijfel is dat niet. Voor zover de 
studie onzekerheden bevat, leiden die 
volgens de auteurs eerder tot onder- 
schatting van het uitsterven van Soor 

__ ten, dan tot het overdrijven daarvan. 

d- Pit beeld was zo ingrijpend ánders, 
dat veel biologen en ecologen er 
vreemd van opkeken. Klimaatverande- 
ring heeft effect op de natuur, maar in 


Bonte vliegenvanger. 


de praktijk reageren veel planten en 
dieren flexibel. Plotselinge klimaat 
schommelingen in het verleden, zoals 
rond de kleine ijstijd (14de tot 17de 
eeuw), hebben niet geleid tot het mas- 
saal verdwijnen van soorten. Waarom 
zou dat de komende vijftig jaar wel zo 
zijn? 


In Nederland wordt de kritiek ver- 


‘woord door ecoloog dr. ir. Flip Witte 


van de Universiteit Wageningen en 
Kiwa Water Research. Een deel van de 
studie (over planten in Europa) is aan- 
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geleverd door het Natuurplanbureau 
van het RIVM in Bilthoven. Met dat 
deel had de ecoloog toevallig erváring, 
omdat het ook gebruikt is in het Natio- 
naal Onderzoeksprogramma Klimaat- 
verandering, waar hij in de weten- 
schappelijke begeleidingscommissie 
zat. 
Witte maakt al jaren bezwaar tegen 
de gebruikte methode en zag die tot zijn 
schrik terugkeren in het artikel in Natu- 
re. Voor de studie, zegt de ecoloog, is de 
soortenrijkdom van planten in Europa 


Verlies plante 


Percentage plantenso 
bbij maximale klimaat 


‘ BES Geen data 





eenvoudig geke 
vens. Terwijl d 
vraag of plante 
afhankelijk var 
onder de voed 
vocht- en zuur 
Witte: Je zo» 
vegetatie kun: 
maatfactoren, 
warmer en sc 
elders. In we 
planten daar n 
maar vanwege 
ke milieu. De 
schijncorrelati 
Ook de basi 
ke planten in 
troffen, vindt 
In Zuid- en f 
gens de studie 
ten voor dan 
Het veronder 
in deze regi 
Sommige del 
cent van hut 
gens de ecolo 
de verspreidt 
die van plant 
Europa is de 
geïnventarisc 
En dan zij! 


ed vien 
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7 Resumé: 


Onzekerheden in publicaties of rapporten moet je 


a) altijd vermelden. 


b) vermelden als ze invloed hebben op de getrokken conclusies. 


Name” 


niet vermelden. De lezer snapt de kansen toch niet. 


Nm” 


C 


d) niet vermelden. Wel in de tekst verwijzen naar achtergronddocumentatie 


waar kansen aan bod komen. 


Nm” 


Hoe zou je te werk moeten gaan? 


RIVM ontwikkelt hiervoor: 


‘Leidraad voor Onzekerheid’ 
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Mini-Checklist van de ‘Leidraad’ 















1. Probleemafbakening Verdieping 












We besteden in onze assessment aandacht aan: (i) eventuele |Sewenst 
andere visies op het probleem dan die van de opdrachtgever (eventueel op 
onderdelen)? 


(inclusief onze eigen visie), (ii) de verwevenheid met andere 
problemen, (ti) de mogelijk relevante aspecten van het 






















probleem die in de onderzoeksvraag buiten beschouwing ee kaf 
zijn gelaten, (tv) de verwachte rol van de resultaten in het ve ahd 
beleidsproces en (v) de relatie met voorgaande studies op dit |® “* k 
gebied. Ei 
> Ga naar 
Gedeeltelijk Onvoldoende Quickscan- 
vraag 1 


2. Stakeholderbetrokkenheid 


















Verdieping 







We hebben een goed beeld van: (1) de relevante gewenst 
stakeholders, hun visies en rollen ten aaanzien van het (eventueel op 
onderdelen)? 


probleem en (túi) de probleemaspecten waar ze het niet over 
eens zijn. Op basis van dit alles hebben we een keuze 

























gemaakt of, hoe (bij het formuleren van onderzoeksvragen, o Nee, 

inbrengen van informatie/data, evalueren van omdat … 

bevindingen/resultaten) en wanneer (aan begin, tijdens, na | ® Ja, 

afloop) we welke stakeholders moeten betrekken bij deze omdat. … 

assessment. er 4 Ga naar 
Ouickscan- 
vraag 2 


Gedeeltelijk Onvoldoende 


3. Graadmeterkeuze Verdieping 



















We kunnen de keuze voor de gebruikte graadmeters en | S°\en$t 
hun samenhang goed onderbouwen, hebben (eventueel op 
onderdelen)? 


alternatieven overwogen en gaan in de rapportage in op 
de beperkingen van het gebruik van deze graadmeters 
voor dit probleem; we kennen het draagvlak in 








ù Nee, 









wetenschap en maatschappij (inclusief besluitvormers/ geet. iet 
politici) voor het gebruik van deze graadmeters. ade 
omdat... 
> Ga naar 
Gedeeltelijk Onvoldoende Quickscan- 
vraag 3 
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Verdieping 
gewenst 

(eventueel op 
onderdelen)? 


















4. Toereikendheid van beschikbare kennis en methoden 






We hebben de toereikendheid van de beschikbare kennis 
en methoden bepaald door vast te stellen: (1) welke kennis 
en welke methodes nodig zijn om antwoorden van de 
vereiste kwaliteit te verkrijgen, (ii) wat de belangrijkste 






















o Nee, 


| 4 omdat .…. 
knelpunten in de beschikbare kennis en methoden zijn en se 

(iii) wat hun effect is op de kwaliteit van de resultaten. In RTD 
overleg met de (interne en externe) opdrachtgever hebben Ee Pitar 
we besloten wat met deze knelpunten gedaan moet worden. Quickscan- 


vraag 4 


Gedeeltelijk Onvoldoende 


5. In kaart brengen en beoordelen van relevante 
onzekerheden 


We hebben een duidelijk beeld van: (1) de onzekerheden 
die het meest relevant zijn voor het betreffende probleem, 
(ii) de inspanning die gepaard gaat met het adequaat in 
kaart brengen van deze onzekerheden, en (ti1) de 





Verdieping 
gewenst 

(eventueel op 
onderdelen)? 





























oNee: 













consequenties van deze onzekerheden voor de conclusies omdat … 
van deze assessment. Op basis van dit alles en in overleg o Ja, 

met de (interne en externe) opdrachtgever hebben we omdat .…. 
besloten hoe de relevante onzekerheden in kaart gebracht Ga naar 
en beoordeeld moeten worden, gegeven de beschikbare nen 






middelen (geld, tijd, expertise, etc.). 


Gedeeltelijk Onvoldoende 


6. Rapportage van onzekerheidsinformatie 
















Verdieping 
gewenst 

(eventueel op 
onderdelen)? 









We hebben een duidelijk beeld van: (1) de context van rapportage 
(waarom, naar wie, voor wie, wanneer, waar) en (ii) de robuustheid 
van de hoofdboodschappen. We rapporteren op een heldere en op het 
publiek toegesneden wijze over: (a) de beleidsrelevante 
onzekerheden en (b) hun mogelijke gevolgen voor beleid, politiek en 
samenleving (welke consequenties hebben de onzekerheden in 























ó Nee: 








termen van potentiële effecten of risico’s?). Bij schriftelijke omdat … 

rapportages zorgen we voor een afgewogen en consistente weergave | ® Ja, 

van resultaten in de diverse onderdelen van de rapportage en voor omdat... 

traceerbaarheid en adequate onderbouwing van het gepresenteerde > Ga naar 

materiaal. Quickscan- 
vraag 6 








Gedeeltelijk Onvoldoende 





Pi: 


8 Bekijk het rapport van het Europese 
Milieu Agentschap over het milieu in 
Europa. 


Over figuur 2.2 op pagina 14 is onder wetenschappers heel wat te doen 
geweest. 


Maar in de tekst is over deze controverses niets meer terug te vinden. 





Fi, 


Bestudeer de volgende figuren en beantwoord daarbij de 
volgende vragen: 


e kun je informatie over onzekerheid vinden? (++, +, +/-,-,--) 


e geef op gevoel een rapportcijfer voor de betrouwbaarheid van de informatie 
(10= zeer betrouwbaar, 1 = totaal onbetrouwbaar) 


e zijn er conclusies die door onzekerheid beïnvloed kunnen worden? 


Vul onderstaande tabel in. 


Figuur 3.1 op pagina 20 
kes 
Kaart 3.1 op pagina 24 
Kaart 3.5 op pagina 30 
a w À 












Conclusies 
beïnvloed door 
onzekerheid? 


Informatie over 
onzekerheid 
(++, … , --) 











Rapportcijfer 
voor 
onzekerheids-info 













dame 
en 
geen 
imke 
mie 
belbin 
ann 

gie 


Figuur 3.28 op pagina 73 
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Ijsdikte (cm) 


Figuur | 





Kans op een elfstedentocht, 1901 - 2004 


mome Maximum ijsdikte 
—_— jaar met elfstedentocht 
mm jaar met potentiele elfstedentocht 





1900 1910 1920 1930 1940 1950 1960 1970 1980 1990 2000 
jaar 


Maximum ijsdikte per jaar, berekend met het ijsaangroeimodel van De 
Bruin en Wessels (1988). In de periode 1901-2000 zijn 15 
elfstedentochten verreden. Tevens zijn de vier jaren aangegeven waarin 
de tocht zeker verreden had kunnen worden (1939, 1979, 1987 en 
1996). In deze jaren bedroeg de berekende ijsdikte meer dan 25 cm. De 
officiële richtlijn voor het verrijden van een elfstedentocht is een 
ijsdikte van 15 cm. | 


Pin 


geen elfstedentocht 
(potentieel) gereden elfstedentocht 





Koudste periode van 15 aaneengesloten dagen (°C) 








Maximale ijsdikte per jaar (cm) 


Figuur 2 Scatterplot voor de maximaal berekende ijsdikte in Friesland en de 
gemiddelde temperatuur van de koudste aaneengesloten periode van 15 
dagen (data De Bilt). Periode is 1901-2000. 


3.0 

















và 
o 
le) 
E 
@ 
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@ 
| 5 
© 
2 geen ven en E 
Na 5 
= 
REENER LIN ag 
En AMIN AT Ts Er à 
8 
nf 
@® 
K°, 
; @® 
KZ 
1.2 
® 
In-getransformeerde ijdikte-indicator ee 
IRW-trendschatting 
90%-betrouwbaarheidsintervallen voor trend 
0.6 | ! | í Î ; | Í i í ! Í 
1900 1910 1920 1930 1940 1950 1960 1970 1980 1990 2000 
Jaar 
Figuur 3 Trendschattting voor de getransformeerde indicator y‚’= In (5.0 - y‚). 
Het besliscriterium y‚ = -4.2 °C, afgeleid uit figuur 2, is na 


transformatie: y‚ = 2.22. 
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CG = 


Kans op een elfstedentocht 


0.00 


Figuur 4 


Haooa ” We 


Figuur 5 





Gemiddelde terugkeertijd (jaar) 


| í Î \ 


1900 1910 1920 1930 1940 1950 1960 1970 1980 1990 2000 


Jaar 


Kans op een elfstedentocht, afgeleid van het model uit figuur 3. 





1900 1910 1920 1930 1940 1950 1960 1970 1980 1990 2000 
Jaar 


Het trendverschil w2o04 - W voor de getransformeerde reeks y‚’. De 
stippellijnen geven 90% betrouwbaarheidsintervallen. De bovengrens 
kan gebruikt worden een eenzijdige statistische toets op significantie 
bij a = 0.05. 
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hinten derd an SS 


Discussie & samenvatting 
over 


“De verborgen boodschap’ 
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